اگر صفحه یا مطالبی دارید که علاقه مند نیستید در نتایج جستجوی گوگل ظاهر شود، به یکی از روش‌های زیر عمل کنید:

• اگر نیاز دارید که فایل هایتان روی سرور باشد می توانید با گذاشتن پسورد جلوی دسترسی دیگران به آنها را بگیرید لذا روبوت گوگل و دیگر موتورهای جستجو نمی توانند به این مطالب دسترسی داشته باشند. این ساده ترین و موثرترین راه برای جلوگیری از ایندکس شدن مطالبتان توسط گوگل و … می باشد. اگر از سرور وب آپاچی استفاده می کنید، می توانید .htaccess را با گذاشتن پسورد روی پوشه سرور خودتان ویرایش کنید. ابزارهای بسیاری در وب موجود است که با کمک آنها می توانید اینکار را انجام دهید.
• از یک robots.txt برای کنترل دسترسی به فایل ها و پوشه های سرورتان استفاده کنید. فایل robots.txt شبیه سیستم الکترونیکی هوشمند ورود به سیستم می باشد که به روبوت گوگل و … می گوید که فایل ها و پوشه های این سرور نباید جستجو شوند.

برای استفاده از فایل robots.txt شما بایستی به قسمت روت هاست خود دسترسی داشته باشید (اگر مطمئن نیستید، از میزبان سایت خود بپرسید). اگر به روت دامنه خود دسترسی ندارید، می توانید با استفاده از روبوت های meta tag در صفحات یکتای سایت ایجاد محدودیت نمایید.

مهم است توجه داشته باشید که حتی اگر از یک فایل robots.txt برای بلاک کردن جستجوگرها استفاده نمایید، گوگل می تواند از راه های دیگری مطالب شما را پیدا و آنها را ایندکس نماید. به عنوان مثال ممکن است سایت های دیگر به مطالب شما ارجاع دهند. آدرس صفحه و بصورت بالقوه دیگر اطلاعات عمومی مانند anchor text در لینک های ارجاعی به سایت و یا عنوان در Open Directory Project می توانند در نتایج جستجوی گوگل ظاهر شوند. به علاوه اگر همه ی روبوت های معتبر به اطلاعات فایل robots.txt استناد کنند، امکان دارد تعدادی از روبوت ها آنها را به گونه ای دیگر استنتاج نمایند. با این حال، یک robots.txt قابل اجرا نیست و ممکن است بعضی از اسپم کننده ها و دیگر مزاحمین آن را نادیده بگیرند. به این دلیل، پیشنهاد می کنیم از پسورد امنیتی که در بالا آمد استفاده نمایید (مطلب بالا را ببینید).

• استفاده از متا تگ noindex برای جلوگیری از ظاهرشدن مطالب در نتایج جستجوی گوگل. وقتی که گوگل تگ متا noindex را در صفحه ای می بیند، بصورت کامل آن صفحه را نتایج جستجو کنار می گذارد. حتی اگر سایر سایت ها به آن لینک داده باشند. اگر مطلب در حال حاضر در دیتابیس گوگل باشد، گوگل آنرا در جستجوی بعدی سایت خارج می کند. (برای تسریع در فرایند خارج سازی، از ابزار خارج سازی آدرس در وبمستر گوگل استفاده کنید). سایر موتورهای جستجوگر ممکن است از روش های دیگری استفاده نمایند. یعنی امکان دارد مطلب موردنظر شما در نتایج جستجو آنها ظاهر شود.

چون ما سایت شما را برای دیدن تگ noindex جستجو می کنیم لذا احتمال کمی وجود دارد که روبوت گوگل تگ متا noindex را نبیند.

منبع: نیوسئو